Ngày 22 tháng 9 năm 1940, quân Nhật bất ngờ tấn công Lạng Sơn. Quân Pháp đồn trú tại đây hoảng loạn đã tháo chạy qua châu Bắc Sơn. Nhân cơ hội này, ông lãnh đạo các đội tự vệ tấn công và cướp súng của tàn quân Pháp tại đèo Tam Canh để tự vũ trang cho mình.

Nhân cơ hội quân đồn trú Pháp bị tan rã, quân Nhật chưa kịp thiết lập quyền kiểm soát, các cán bộ Cộng sản tại Bắc Sơn - Võ Nhai cho rằng thời cơ đã đến. Ngày 27 tháng 9 năm 1940, ông chỉ huy các đội tự vệ vũ trang tấn công đồn Mỏ Nhài (Bắc Sơn), hỗ trợ những người Cộng sản vận động dân chúng nổi dậy cướp chính quyền tại Bắc Sơn.

Quân khởi nghĩa làm chủ huyện lỵ Bắc Sơn được gần một tháng. Sau đó, người Nhật thoả hiệp với thực dân Pháp, quân Pháp tái chiếm Bắc Sơn và đàn áp quân khởi nghĩa. Ngày 28 tháng 10 năm 1940, quân Pháp chiếm lại đồn Mỏ Nhài. Khởi nghĩa Bắc Sơn bị dập tắt.

Tuy nhiên, ông cùng một số đội viên tự vệ cùng vũ khí rút được vào rừng sâu Võ Nhai - Bắc Sơn lập căn cứ. Tháng 11 năm 1940, Hội nghị Trung ương Đảng lần thứ 7 tại làng Đình Bảng, Bắc Ninh đã ra quyết định về việc duy trì và bồi dưỡng lực lượng vũ trang của cuộc khởi nghĩa Bắc Sơn, làm vốn quân sự đầu tiên cho cách mạng. Đầu tháng 2 năm 1941, ông được bầu làm Xứ ủy viên Bắc Kỳ, phụ trách xây dựng đội du kích Bắc Sơn.

Ngày 14 tháng 2 năm 1941, Đội du kích Bắc Sơn chính thức được thành lập trong một buổi lễ tổ chức tại khu rừng Khuổi Nọi (nay thuộc xã Vũ Lễ, huyện Bắc Sơn, tỉnh Lạng Sơn). Hoàng Văn Thụ đã thay mặt Trung ương Đảng công nhận, trao nhiệm vụ và lá cờ đỏ sao vàng cho Đội du kích Bắc Sơn. Bấy giờ Đội gồm 32 chiến sĩ, do Lương Văn Tri làm Chỉ huy trưởng. Ông được cử làm Chỉ huy phó.